StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training
StableVQ：稳定向量量化 tokenizer 训练实践指南
🧭 VQ 视觉 tokenizer 训练稳定性
Huazhong University of Science and Technology · KlingAI Research · South China Normal University
针对共享投影码本 VQ 训练不稳定，提出 Dynamic STE、Region VQ Loss、Decoupled Schedule 三项无参改进，稳定提升码本利用率与重建质量
📌 工作参考价值（4 点）
- 若在生成式推荐中使用 VQ / Semantic ID 做物品量化，常遇到码本坍塌或利用率低：可借鉴 Region VQ Loss 的思路，让码本独立学习完整覆盖编码器输出分布，而非依赖编码器梯度抖动激活，提升 ID 多样性。
- Dynamic STE 修正了低码本利用率下直通估计器的梯度不稳定问题，适合推荐场景中离散 ID 生成（如 Gumbel-Softmax 或 ST-Gumbel）的梯度回传，避免因初期码本利用率低导致训练崩溃。
- 多模块联合训练（如编码器-解码器 + 码本、生成器 + 判别器）常因收敛速度不匹配而不稳定：Decoupled Schedule 将不同模块使用独立学习率调度，可直接迁移到多任务推荐模型或 Agent 策略与价值网络的联合训练。
- 整体无额外可学习参数、轻量易插入，适合在现有推荐召回或特征量化模块上低成本验证。